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Beschreibung 

[0001] Auf dem Gebiet der Sicherheitstechnik jst es 
Qblich, Personen an Hand von persSnlichen Merkmalen 
zu identrfizieren oder zu verifizieren, um ihnen Zugang 
zu sicherheitsrelevanten Einrichtungen zu gewdhren. 
[0002] Zu diesen persdnlichen Merkmalen geh6rt 
auch das Gesicht, das zur Erfassung von gesichtsbe- 
zogenen Daten von einer Kamera aufgenommen wird. 
Die digitalen Bilddaten werden dann auf besondere 
Merkmale hin untersucht und ein entsprechender Graph 
gebildet derzum Beispiel in einer Datenbank abgespei- 
chert wird und damit zum Vergleich mit einem jeweils 
neugebildeten Graphen zur VerfOgung steht. Stimmt ein 
von einer Person neu abgeleiteter Graph mit einem ab- 
gespeicherten innerhalb festgelegter Grenzen Qberein, 
dann erhalt die Person den gewQnschten Zugang. 
[0003] Um den Auswahlvorgang in der Datenbank zu 
vereinfachen und zu beschleunigen, kann die Abspei- 
chenjng unter der von der geheimen PIN (Personal 
Identity Number) einer Ausweiskarte abgeleiteten 
Adresse in der Datenbank erfolgen. Auch kann auf eine 
Abspeicherung in einer Datenbank verzichtet und damit 
der Speicherbedarf stark reduziert werden, wenn die 
Gesichtsdaten an Stelle der PIN oder zusammen mit der 
PIN auf einer IC-Ausweiskarte (Karte mit integriertem 
Schaltkreis) abgespeichert werden - man siehe z.B.UK 
2 173 970 A. 

[0004] Es ist bereits eine Reihe von Verfahren zur Ab- 
leitung der Gesichtsdaten bekannt, wobei die nachfol- 
gende Numerierung sich auf das Literaturverzeichnis 
am Ende der Beschreibung bezieht. 

Zul : 

[0005] Der hierin dargestellte Ansatz verwendet zur 
Erkennung von Gesichtem deren Darstellung in einem 
Raum von Eigenfaces. Diese Darstellung ist die soge- 
nannte Karhunen-Loeve-Transformation (KLT). Sie er- 
fordert eine gro&e Menge von Trainingsmustern. Es sei- 
en diese fur Bilder der Grade NxN als N 2 -dimensionale 
Vektoren x gegeben. Die Basisfunktionen der KLT er- 
hSIt man dann durch Losen des Eigenwertproblems 

wobei Z die Kovarianzmatrix der Daten vektoren, 4> die 
Eigenvektor-Matrix von £ und A die Diagonalmatrix der 
Eigenwerte ist. Man erhSIt die neue Darstellung von x 
als 

y = <&m(x-5), 

wobei f den Mittelwert aller x bezeichnet. ist eine 
Submatrix von <I>, die die fQhrenden M Eigenvektoren, 
d. h. die Eigenvektoren zu den M groBten Eigenwerten, 



enthdit. In einer derartigen teilweisen KLT betragt der 
Rekonstruktionsfehler fQr ein bestimmtes Muster xge- 
rade 

e 2 (x) = ||x-f|| 2 -|M| 2 

[0006] Diese GroBe wird als "distance from feature 

10 space" bezeichnet und zur Lokalisierung des Gesichts 
innerhalb eines Bildes verwendet. 
[0007] Solch ein Eigenface-basiertes System kann 
durch lokale Variation getduscht werden. Weiterhin er- 
fordert das System eine Normalisierungsstufe, die das 

15 Gesicht auf eine StandardgroBe bringt. Da das Verfah- 
ren auch zur effizienten Kodierung von Gesichtem fQr 
die VideoQbertragung verwendet wird, ist eine Erfas- 
sung mehrerer Bilder eines Gesichts mit nur einem 
Merkmalssatz prinzipiell nicht moglich. 

20 [0008] Es werden daher zwei Erweiterungen vorge- 
schlagen, die diese Defizite teilweise beheben: 
[0009] Einerseits wird das Schema der Eigenfaces 
auf beliebige andere Merkmale, wie z.B. Augen, Nase, 
Mund etc., des Gesichts ausgedehnt. Werden diese mo- 

25 dularen Eigenvektor-Darstellungen mit den Eigenfaces 
kombiniert, ergibt sich zwar eine bessere Erkennungs- 
leistung, jedoch wird der bei jederabbrechenden Eigen- 
vektorentwicklung sich ergebende Nachteil, nSmlich 
dad die emeute Berechnung der Eigenvektoren erfor- 

30 derlich wird, sobald neue Gesichter hinzukommen, nicht 
aufgehoben. 

[0010] Andererseits wird versucht, mit Hilfe multipler 
Beobachter eine Erkennung zu realisieren, die von der 
Kopfrotation der Person unabhSngig ist. In dem verwen- 

35 deten formalen Rah men bedeutet dies, dad fur jeden 
dieser Beobachter die Koeffizienten der Entwicklung in 
dem zugehorigen Vektorraum bekannt sein mQssen. 
Multiple Beobachter erfordern also multiple KLT und 
multiple Kodierungen. FQr eine zu erfassende Person 

40 sind daher mehrere Datensatze zu speichem, was ei- 
nen entsprechenden Aufwand an Speicherkapazitdt 
und Verarbeitungszeit erfordert 

Zu2 : 

45 

[0011] Das hierin beschriebene Verfahren zur Ge- 
sichtserkennung basiert im wesentlichen auf der Ver- 
wendung eines 2-Kamera-Systems zur Segmentierung. 
Als Merkmalsdetektoren werden Richtungsableitungen 
50 der zweidimensionalen GauBfunktion verwendet. Der 
Startpunkt fur die Definition und Konstruktion der Merk- 
malsdetektoren ist die bekannte GauBfunktion 
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[0012] Sie ist urn x=0 mit einer Varianz a 2 lokalisiert. 
Die einzelnen Detektoren sind Richtungsableitungen 
von G(x)G(y), dem 2-dimensionalen Analogon von G(x). 
Man bezeichnet sie Oblicherweise mit G e *. wobei n die 
Ordnung der Ableitung und 9 k = krc/(n + mit k= 0,...,n 
ihre Richtung bezeichnet. Es werden Ableitungen der 
Ordnung 1 bis 3 verwendet. 

[0013] Das System arbeitet als Identifikationssystem 
und die Assoziationsleistung wird von einem spariich 
besetzten verteiiten topograph ischen Speicher (SDM) 
erbracht. Zwar werden zum Training des SDM mehrere 
Bilder fur jede Person verwendet jedoch ist die erfafcte 
Information nicht nach Personen separierbar. Daher 
gibt es keine kompakte Darstellung des Aussehens ei- 
ner einzelnen Person, wie es in einem Verifikationssy- 
stem erforderlich ware. 

Zu3 : 

[0014] Das dargestellte System kann nur Folgen von 
Videobildem bei der Erkennung verarbeiten. Weiterhin 
werden als die Gesichter unterscheidende Merkmale 
die Koeffizienten einer Entwicklung der OberflSche der 
Gesichter in 3-dimensionale Eigenkdpfe verwendet. So- 
mitzeigt das Verfahren die von den Eigenfaces bekann- 
ten Vor- und Nachteile. 

Zu4 : 

[0015] Bei diesem System wird der Vergleich zwi- 
schen dem zu erkennenden Bild und dem gespeicher- 
ten Bild durch einen flexibten Abbildungsmechanismus 
realisiert Zum Vergleich werden durch unspeziftsche 
Merkmalsdetektoren extrahierte lokale Merkmale des 
Gesichts verwendet. Die Gitterpositionen, an denen die 
Merkmale extrahiert werden, sind nicht explizit festge- 
legt, sondem variabel, wobei die Gitterverzerrung in der 
Vergleichsfunktion enthalten ist. 

[0016] Die Positionierung der Gitterpunkte ergibt sich 
als Resultat eines globalen Optimierungsprozesses mit 
der Kostenfunktion 

E = E sim + ^ E top. 

wobei der erste Term E sim die Ahnlichkeit extrahierter 
Merkmalsvektoren (Jets) an jeweils korrespondieren- 
den Gitterpositionen und der zweite Term Et op die Git- 
terverzerrungskosten quantifiziert. Hier wird also ein be- 
wegliches Gitter verwendet. 

[0017] Dieses Verfahren hat daher folgende Nachtei- 
le: 

[0018] Es funktioniert nicht bei komplexen Hinter- 
grunden, da das Gitter mit den Merkmalsdetektoren 
nicht ausschliefilich das Gesicht Qberdeckt. Auch be- 
steht innerhalb des formalen Rahmens keine Moglich- 
keit, mehrere Bilder mit nur einem Merkmalssatz zu er- 
fassen. Weiterhin kann wegen der Vemachldssigung 



von Phaseninformation in der Konstruktion der Jets der 
Referenzdatensatz nicht zur Rekonstruktion des Ge- 
sichts verwendet werden. 

5 Zu5: 

[0019] Das in der Patentschrift erwShnte Verfahren 
zur Erfassung und Wiedererkennung von Gesichtern 
basiert ebenso wie (1) auf dem Eigenface-Ansatz und 

10 ist somit ebenso nicht zur Erfassung men rerer Bilder ei- 
ner Person in einem kompakten Code geeignet. Als 
"Merkmale" gelten hier wie auch im modularen Ansatz 
von (1) tatsdchliche, fQr den Menschen sichtbare und 
klar definierte Teile des Gesichts, wie z.B. Augen Oder 

15 Augenbrauen. Aufierdem wird ein dualer Code verwen- 
det, dereinerseits die absolute Position eines Merkmals 
("offset") andererseits deren spezifisches Aussehen 
("reference vertex") beschreibt. Urn diese Merkmale zu 
finden, werden "intelligente" Mustererkennungstechni- 

20 ken (Stichwort "snake") angewandt. 

Zu6: 

[0020] Das hier beschriebene Verfahren erweitert den 
25 jn (4) beschriebenen Ansatz um eine Gewichtung der 
Gitterpositionen. 

[0021] Diese Gewichtung ist eindeutig fur eine be- 
stimmte Aufgabe und modifiziert die bisherige Ahnlich- 
keitsfunktion. Die Gewichte sind daher nicht Bestandteil 

30 des Referenzdatensatzes fQr eine erfaftte Person. Wei- 
terhin erfolgt keine Spezifikation der Qualitatsfunktion 
Q zur Optimierung der Gewichte. Es ist lediglich ange- 
geben, dafc die Datenmenge T , die der Optimierung zu- 
grunde liegt, nur jeweils Paare von Bildem verschiede- 

35 ner Personen enthaU Damit kann allenfalls ein konven- 
tionelles Erkennungsexperiment durchgefuhrt werden, 
und die Berucksichtigung mehrerer Bilder bei der Erfas- 
sung ist ausgeschlossen. Die Gitterpositionen selbst er- 
geben sich vergleichbar dem Verfahren nach (4) als Re- 

40 sultat eines globalen Optimierungsprozesses, der das 
gesamte Gitter umfaBt. Die Lage eines einzelnen Git- 
terpunktes ist also nicht Resultat eines expliziten Detek- 
tionsprozesses und somit an die Existenz eines lokalen 
Merkmals gebunden, sondern ergibt sich aus dem ko- 

45 operativen Verhalten des beweglichen Gitters. 

Zu7: 

[0022] Hier wird ein Identifikationsverfahren beschrie- 
50 ben, das ein kOnstliches neuronales Netz zur Klassifi- 
kation von Gesichtern benutzt. Dabei handelt es sich um 
ein Feed-forward-Netz mit einer intemen Knotenschicht 
und einem Eingabeknoten fur jedes der Pixel, aus dem 
das Eingabebild besteht. Ein solches Eingabebild wird 
55 aus einem dem System prasentierten Bild eines Ge- 
sichts durch eine Vorverarbeitungsstufe gewonnen, in 
der die Mittelpunkte der Augen und des Mundes ermit- 
telt werden und das Bild durch eine affine Transforma- 
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tion so bearbeitet wird, daU diese Mittelpunkte auf vor- 
definierte Punkte abgebildet werden. Zur Vorverarbei- 
tung gehort auch die Eliminierung globaler IntensitSts- 
gradienten im Bild des Gesichts mit dem ziel, eine gro- 
fcere Unabhangigkeit vom Ort der Lichtquelle zu errei- 5 
chen. 

[0023] Das Training des neuronalen Netzes erfordert 
die Verwendung von Bildem jeder Person, die das Netz 
klassifizieren soli. 

[0024] Die Kiassifikationsfunktion ist dann fQr alle die- 10 
se Personen gemeinsam in den Gewichten des Netzes 
kodiert. Dies hat, analog zu (1), den Nachteil, daB das 
Netz neu trainiert werden muB, sobald weitere Perso- 
nen aufgenommen werden sollen. Femer muS in die- 
sem Fall zur Bewahrung einer akzeptablen Erken- 15 
nungsleistung moglicherweise die Zahl er internen Kno- 
ten erhSht werden; denn laut (7) genugten in einem Ex- 
periment zwar 12 interne knoten fQr 16 Personen, es ist 
aber unklar, wie das Verfahren mit der Zahl der Perso- 
nen skaliert. Ein weiterer Nachteil ist daft einer Person 20 
kein eigener Referenzdatensatz zugeordnet werden 
kann und somit eine exteme Speicherung eines solchen 
Datensatzes -etwa auf einer Chipkartenicht mdglich ist. 
[0025] Die Erfindung hat ein Verfahren zur Erfassung 
und Speicherung von gesichtsbezogenen Personenda- 25 
ten und deren Verwendung zur Identifizierung Oder Ve- 
rifikation in Zugangskontrollsystemen zum Gegen- 
stand, das Merkmale der vorangehend genannten Sy- 
steme aufgreift und wesentlich erweitert, sowie eine 
schnelle und robuste Erkennung von mensch lichen Ge- 30 
sichtern aus Standbildem unter natQrlicher Beleuchtung 
ermoglicht. 

[0026] Ein entsprechendes Verfahren ergibt sich aus 
den Merkmalen des Anspruches 1 . 

[0027] Danach werden die gesichtsbezogenen Daten 35 
nicht von einem einzigen Bild, sondem von einer Reihe 
von Bildern derzu erfassenden Person abgeleitet. In je- 
dem Bild wird versucht, zunachst das Gesicht und dann 
die Augen zu lokalisieren. Bei Erfolg wird das Bild an- 
schliefiend derart rotiert und skaliert, da& danach die 40 
Augen innerhalb des Bildes auf einer horizontalen Linie 
liegen und einen vorgegebenen Abstand haben. Dem 
so nonmalisierten Bild wird ein festes Gitter Qberiagert, 
dessen Lage reiativ zu den Augenpositionen von vorn- 
herein festgelegt ist. Im Gegensatz zu (4) sind daher 45 
GrGfie, Form und -bei einem regelmS&igen Gitter- die 
Maschenweite des Gitters stets gleich. Das Gitter wird 
an den Augen verankert, weil diese von den Gesichts- 
merkmalen am einfachsten zu lokalisieren sind. 
[0028] FQr jedes aufgenommene Bild i werden dabei so 
d bestimmte Merkmalsdetektoren, z.B. solche wie in (2), 
an jedem Gitterpunkt g und fQr jede AuflSsungsstufe k 
einer festen Menge von AuflOsungsstufen des Bildes 
angewandt, so daR sich d-dimensionale Vektoren m W 
ergeben. Ein Merkmal ist hier eine Komponente eines 55 
solchen Vektors und daher im Gegensatz zu (5) die Ant- 
wort eines unspezifischen Merkmalsdetektors. Damit 
sind die Merkmale im Gesicht nicht klar lokalisiert, son- 



dern man kdnnte sie stattdessen als delokalisiert be- 
zeichnen. 

[0029] Im nachsten Schritt werden jeweils mehrere 
Vektoren m< 9 j k) zu neuen Vektoren zusammengefafit, 
die im folgenden als Merkmalsvektoren bezeich net wer- 
den. Hierbei gibt es verschiedene M6glichkeiten: Bei- 
spielsweise kann die Zusammenfassung fQr jeden Git- 
terpunkt Ober mehrere AuflOsungsstufen Oder fQr jede 
Aufldsungsstufe Ober mehrere Gitterpunkte erfolgen; 
denkbar ist auch eine Kombination dieser beiden Tech- 
niken. Die einfachste MOglichkeit ist, als Merkmalsvek- 
toren die Vektoren m (g j k) selbst zu verwenden. 
[0030] In jedem Falle existieren nach der Zusammen- 
fassung Merkmalsvektoren n^, q = 1,...,N qt wobei N q 
die Zahl der Merkmalsvektoren bezeichnet. Vor der wei- 
teren Verarbeitung sind die Merkmalsvektoren auf Lan- 
ge 1 zu normieren; im folgenden wird daher angenom- 
men, daB (n^) 2 ^ gilt. 

[0031] In einem Mittelungsprozeft werden diese Sat- 
ze von Merkmalen aller aufgenommenen Bilder zu ei- 
nem reprasentativen Referenzmerkmalssatz zusam- 
mengefaSt. Dieser representative Referenzmerkmals- 
satz kann durch unterschiedliche Mittelungsschemata 
erzeugt werden. Betrachtet man namlich als Satz 
normierter Merkmalsvektoren einer festen Person fQr 
die unterschiedlichen Trainingsbilder i=1,...,N und fQr 
ein festes q, so erhalt man (im Folgenden ist zur Verein- 
fachung der Notation der Index q weggelassen) einen 
reprasentativen Datensatz 

durch die Minimierung einer Funktion V, die die Breite 
der SelbstShnlichkeit P|j = n, nj aller Merkmalsvektoren 
quantrfiziert, wobei die Normalisierungsnebenbedin- 
gung n 2 =1 eingehalten werden muB. Im Fall 

ergibt sich 

wdhrend sich fQr 



v = E i (*-s i ) 2 

die KoefTizienten X als Eigenvektor der Matrix P = (py) 
ergeben, der zum groRten Eigenwert geh6rt. Diese Art 
Eigenvektor hat aber nichts mit einer KLT zu tun. 
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[0032] Aitemativ kann derjenige Merkmalssatz unter 
den MerkmalssStzen der aufgenommenen Bilder als 
neuer reprasentativer Referenzmerkmalssatz bestimmt 
und verwendet werden, der den kleinsten Abstand. z.B. 
den kleinsten euklidischen Abstand, zu dem nach einer 5 
der vorhergehend beschriebenen Methoden ermittelt 
wurde. 

[0033] Die Gesamtahnlichkeit eines Referenzmerk- 
malssatzes zu dem Merkmalssatz aus Bild i ergibt sich 
als gewichtete Summe der einzelnen Ahnlichkeiten n> 



Pi - r>i " n 



zum jeweiligen Referenzmerkmalsvektor ifa in der Form 15 



*0 = E W qP? 

q 



[0034] Die einzelnen Gewichte sind nicht negativ und 
ihre Summe betrSgt 1 . 

[0035] ZusStzlich kdnnen auch die einzelnen Merk- 
male gewichtet werden. Dazu wird jedem Referenz- 
merkmalsvektor fiq eine Diagonal matrix C q zugeordnet, 
deren Dlagonalelemente die Gewichte fur jede Kompo- 
nente von n^ und damitfOrjedes einzelne Merkmal dar- 
stellen. Die Gewichtung erfolgt dann durch Multiplikati- 
on der Matrix mit dem Referenzmerkmalsvektor. 
Auch der gewichtete Referenzmerkmalsvektor muB auf 
L§nge 1 nonniert sein, d.h. es muB (C q n q )2=1 gelten. 
Die einzelnen Ahnlichkeiten p^ ergeben sich dann nach 
folgender Gleichung: 



20 



25 



B j=l 



r* 8 



St 



-X 



mit 6(x) als Heavisidesche Stufenfunktion. Hier ist N A 
die Anzahl der unterschiedlichen Bilder von Person A , 
die bei der Erfassung aufgenommen werden, wahrend 
N B die Anzahl der Merkmalssdtze von Bildern anderer 
Personen in der Hintergrunddatenbank ist. p^ bezeich- 
net die Ahnlichkeit des Merkmalsvektors n fl des Bildes 
i von Person A zum Referenzmerkmalsvektor n^ und r^ 
den entsprechenden Wert fur eine Person B * A. 
[0038] Das oben genannte Ziel kann durch Bestim- 
mung solcher personenabh§ngigen Gewichte erreicht 
werden, die eine geeignete Zietfunktion optimieren. 
Sinnvolle Zielfunktionen sind beispielsweise die Sum- 
me der beiden Fehlerraten (FAR und FRR) oder die 
Gleichfehlerrate (equal error rate, EER), der Funktions- 
wert also, fur dessen Argument FAR und FRR gleich 
sind. Eine andere Zielfunktion geht direkt aus von der 
Menge der GesamtShnlichkeiten zwischen dem Refe- 
renzmerkmalssatz von Person A und den Bildem von A 



(Pi = 



w p P< q ) 



sowie von der Menge der Gesamtahnlichkeiten zwi- 
schen diesem Referenzmerkmalssatz und den Merk- 
30 malssStzen aus der Hintergrunddatenbank 



( r | = Z q W q r j q > 



Pi - n i 



C q"q 



35 und quantifiziert das AusmaB der Trennung dieser Men- 
gen: 



[0036] Die Berechnung von personenabhangigen 
Gewichten, die ebenfalls Teil der spater abgespeicher- 
ten gesichtsbezogenen Daten sind, ist auf die spezielle 
Aufgabe zugeschnitten und berucksichtigt Informatics 
nen aus den aufgenommenen Bildem und einer Hinter- 
grunddatenbank von MerkmalssStzen, was im Folgen- 
den beschrieben wird. 

[0037] Das Ziel jeden Verifikations- oder Identifikati- 
onssystems ist, gleichzeitig die Rate der falschen Zu- 
rQckweisungen (false rejection rate, FRR, x (1) ) und die 
Rate der falschen Akzeptierungen (false acceptance ra- 
te, FAR, x (2) ) moglichst gering zu halten. In unserem 
System sind beides Funktionen der Akzeptanzschweile 
X und definiert als 



x (,) W = 



N, 



i=l 



( 



N g 

z 

q = l 



W 



40 



45 



50 



55 



f(w)= 



Pi-Tj 



TVartp^ + Var^) 



[0039] Hierbei bezeichnen p f und rj die jeweiligen Mit- 
tefwerte der Gesamtahnlichkeiten Qber alle i bzw. j so- 
wie Var(pj) und Var(rj) die jeweiligen Varianzen. 
Alle drei genannten Zielfunktionen ergeben sich bei ge- 
gebenen p und r als Funktionen der Gewichte. ZusStz- 
lich zu den Gewichten muB noch der optimale Schwell- 
wert bestimmt werden: Bei den beiden erstgenannten 
Zielfunktionen ergibt er sich bei der Optimierung der Ge- 
wichte, bei der dritten Zielfunktion kann er nach der Ge- 
wichtsoptimierung z.B. als Ort der Gleichfehlerrate ge- 
wShlt werden. 

[0040] Verfahren zur Optimierung multivariabler 
Funktionen sind wohlbekannt und sind z. B. in "Nume- 
rical Recipes in C" von Press et al., Cambridge Univer- 
sity Press, 2. Auflage, 1993 beschrieben. 
[0041] Abgesehen von den bereits in Verbindung mit 
Merkmalen des Patentanspruches 1 angesprochenen 
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Varianten zu einzelnen Verfahrensschritten beziehen 
sich andere Weiterbildungen der Erfindung gemdft den 
UnteransprGchen z.B. auf die DurchfOhrung der Opti- 
mierung erst nach Hinterlegung der MerkmalssStze ei- 
ner vorgegebenen Anzahl von Personen in der Hinter- 
grunddatenbank, urn die UnterscheidungsfShigkeit des 
Systems zu erhflhen. 

[0042] Weiterhin kann beim Normalisieren des Ge- 
sichts zusdtzlich die Lage der Nase fur die Bestimmung 
der Gitterpunktpositionen verwendet werden. 
[0043] Die Vorverarbeitung der aufgenommenen Bil- 
der mit einem Tlefpaftfilterfdrdert die RauschunterdrQk- 
kung. 

[0044] Auch kann die Leistungsfahigkeit eines Erken- 
nungssystems im laufenden Betrieb verbessert werden, 
indem Bilder, die beim Versuch einer Verifizierung oder 
Identifizierung aufgenommen worden sind und zu einer 
ZurQckweisung gefQhrt haben, von einer externen In- 
stanz, etwa einem Systemverwalter, gesichtet werden. 
Diese Instanz entscheidet dann darOber, ob die ZurQck- 
weisung zu Recht erfolgt ist oder nicht. Bei einer nicht 
zulassigen ZurQckweisung wird der Merkmalssatz des 
zugehdrigen Bildes zu der Menge der bereits voriiegen- 
den Merkmalssdtze von Bildern der betroffenen Person 
hinzugefQgt. Danach werden die Berechnung des Re- 
ferenzmerkmalssatzes und die Optimierung der Ge- 
wichte und des Schwellwertes wiederholt. 
[0045] Einzelheiten der Erfindung seien nachfolgend 
an Hand von in der Zeichnung dargestellten AusfOh- 
rungsbeispielen nSher erlautert. Im Einzelnen zeigen 

FIG 1 ein Blockschaltbild fQr die Erfassung von Ge- 
sichtsdaten, 

FIG 2 ein Blockschaltbild zur Personen identifizie- 
rung bzw. -verifikation im Rahmen einer Zu- 
gangskontrolle, 

FIG 3A ein Fluftdiagramm des Erfassungsprozesses, 

FIG 3B ein Fluftdiagramm des anschlieftenden Opti- 
mierung sprozesses und 

FIG 4 ein Fluftdiagramm fQr eine Verifikation. 

[0046] Das Blockschaltbild von FIG 1 zeigt im unteren 
Teil die wesentfichen Elemente fur die Erfassung von 
Gesichtsdaten, namlich eine elektronische Kamera 
CAM, die Qber einen sogenannten Framegrabber Bild- 
daten in digitalisierter Form an eine Bildverarbeitungs- 
einheit IMPRO liefert. Diese ermittelt mit Hilfe der Daten 
aus einer Hintergrunddatenbank fur MerkmalssStze im 
Speichersystem MM die abzuspeichemden Gesichts- 
daten F-DAT und Qbergibt diese wiederum dem Spei- 
chersystem MM, wo sie als Referenzdaten in einer Da- 
tenbankabgelegt werden. Die Abspeicherung kann aber 
auch auf einer personlichen Ausweiskarte CARD' durch 
einen Kartenschreiber CARD-W erfolgen, so daft der 
Aufwand fQr die Referenzdatenbank zum Zwecke der 
Verifikation und/oder Identifizierung entfSllt. 
[0047] Bei einer Abspeicherung im Speichersystem 
MM ist dieses ohne oder mit einem persCnlichen Bezug 



zur jeweiligen Person mdglich. Letzteres wird durch ei- 
ne persdnliche Identifikationsnummer (PIN) gesteuert, 
die als Adresse PIN-DAT fQr das Speichersystem MM 
entweder von einer Ausweiskarte CARD Qber einen 
5 Kartenleser CARD-R geliefert oder mit Hilfe der Tastatur 
KB eingegeben wird. 

[0048] FIG 2 zeigt in Anlehnung an FIG 1 ein Block- 
schaltbild fur die Personenidentifizierung bzw. -verifika- 
tion im Rahmen der Zugangskontrolle fQr ein gesicher- 

10 tes Objekt, wobei das Objekt ein Raum oder eine 
Maftnahme sein kann. Wesentliche Elemente sind in 
diesem Falle wiederum die elektronische Kamera CAM 
und die Bildverarbeitungseinheit IMPRO, die wie bei der 
Erfassung Gesichtsdaten F-DAT liefert. Hinzu kommt 

15 eine als Vergleicher arbeitende Steuereinheit COMP, 
die die neu erfaftten Gesichtsdaten F-DAT mit den frQ- 
her erfaftten und als Referenzdaten abgespeicherten 
Gesichtsdaten F-DAT vergleicht und bei ausreichender 
Obereinstimmung ein Steuersignal ACC auslSst, das 

20 den Zugang zum gesicherten Objekt eriaubt. 

[0049] In Anlehnung an die hinsichtlich FIG 1 aufge- 
zeigten Mdglichkeiten konnen die gespeicherten Ge- 
sichtsdaten F-DAT z.B. der Datenbank im Speichersy- 
stem MM entnommen werden. Erfolgte die Abspeiche- 

25 rung ohne Personenbezug, dann muft gegebenenfalls 
die gesamte Datenbank durchsucht werden. Im ande- 
ren Fall liefert die Tastatur KB oder die personliche Aus- 
weiskarte CARD Qber den Kartenleser CARD-R analog 
dem oberen Teil von FIG 1 die Adresse PIN-DAT, so daft 

30 die zugehSrigen Gesichtsdaten F-DAT unmittelbar 
ohne langwierigen Suchvorgang bereitgestellt werden 
kdnnen.Bei Verwendung der person lichen Ausweiskar- 
te CARD* als Speichermedium fQr die Gesichtsdaten F- 
DAT werden diese Qber den Kartenleser CARD-R* der 

35 Steuereinheit COMP zur VerfQgung gestellt. 

[0050] Die fur die Erfassung und fur die Identifizie- 
rungA/erifikation benotigten Elemente von FIG 1 und 
FIG 2 konnen entsprechend den gleichlautenden Be- 
zeichnungen auch in einer Anordnung zusammenge- 

40 fa &t werden, wobei der die neuen Gesichtsdaten F-DAT 
iiefemde Ausgang der Bildverarbeitungseinheit IMPRO 
entweder auf das Speichersystem MM bzw. den Karten- 
schreiber CARD-W oder aber auf die Steuereinheit 
COMP umschaltbar ist. Weiterhin ist zu berucksichti- 

45 gen, daft zur Erfassung immer mehrere Bilder aufge- 
nommen werden, wdhrend bei der Identifizierung oder 
Verifikation nur ein einziges Bild bendtigt wird. 
[0051] Eine mdgliche Arbeitsweise der Anordnungen 
von FIG 1 und FIG 2 sei nachfolgend an Hand der 

50 Fluftdiagramme von FIG 3 und FIG 4 n§her ertautert. In 
diesen Fluftdiagrammen sind die einzelnen Verfahrens- 
schritte fortlaufend numeriert und die nachfolgende Er- 
Iduterung ist entsprechend dieser Numerierung geglie- 
dert. 

55 [0052] Mit Bezug auf FIG 3A sind das folgende Ver- 
fahrensschritte: 

1. Innerhalb der durch das System vorgegebenen 



6 



11 



EP 0 886 833 B1 



12 



Zeit von 10 Sekunden werden acht Bilder aufge- 
nommen. Bei jedem zweiten Bild wird dabei ver- 
sucht, sofort die Augen zu lokalisieren. 

2. Es werden alle Bilder mit Ausnahme der Bilder 
gespeichert, bei denen vergeblich versucht wurde , 
die Augen zu lokalisieren. Die ermittelten Augen po- 
sitionen werden ebenfalls abgespeichert. 

3. Die extrahierten Augenpositionen dienen dann 
zur Beurteilung, ob der ErfassungsprozeB erfolg- 
reich war. Ein ErfassungsprozeR ist erfolgreich, 
falls die Augen in mindestens drei der vier Bilder 
gefunden wurden und gleichzeitig die Varianz der 
extrahierten Augenpositionen eine Schwelle Gber- 
schreitet. 

4. Sollte dies der Fall sein, ist die Erfassung been- 
det. 

5. Im anderen Fall werden zuerst die alten Bilder 
und die ermittelten Augenpositionen verworfen und 
wiederum acht Bilder aufgenommen, von denen 
vier der Augenfindung unterworfen werden. Wie bei 
der vorhergehenden Gruppe von acht Bildem wird 
die Varianz der Augenpositionen berechnet. 

6. Es werden wiederum alle Bilder mit Ausnahme 
der Bilder gespeichert, bei denen vergeblich ver- 
sucht wurde , die Augen zu lokalisieren. 

7. Entsprechend Schritt 3 wird mit Bezug auf alle 
gespeicherten Bilder gepruft, ob die Erfassung er- 
folgreich war. 

8. Im positiven Fall ist die Erfassung beendet. 

9. siehe Schritt 5. 

10. siehe Schritt 6. 

11. siehe Schritt 7. 

12. siehe Schritt 8. 

12a. Falls die in Schritt 3 erwShnten Bedingungen 
nach keinem der drei Erfassungsschritte erfullt wur- 
de, gilt die Erfassung als nicht erfolgreich, und der 
Benutzer wird entsprechend inform iert. 

[0053] Bei erfolgreich abgeschlossener Erfassung 
der vorgegebenen Anzahl von Bildem wird mit (A) auf 
die Merkmalsextraktion und den OptimierungsprozefS 
von FIG 3B ubergeleitet: 

13a. Bei den abgespeicherten Bildem, bei denen 
bisher keinerlei Verarbeitung durchgefOhrt wurde, 
wird nun versucht, das Gesicht und dann die Augen 
zu lokalisieren. Bilder, bei denen dieses nicht mog- 
lich ist, werden verworfen, und es werden die Au- 
genpositionen zu den ubrigen Bildem abgespei- 
chert. 

13b. Bei alien danach gultigen Bildem werden die 
Position und die Skalierung des Gesichts bezQglich 
der Augenpositionen normalisiert, indem das jewei- 
lige Bild rotiert und skaliert wird, bis die Augen in- 
nerhalb des Bildes auf einer horizontalen Linie lie- 
gen und einen vorgegebenen Abstand aufweisen. 
13c. FOr alle Bilder werden auf verschiedenen Auf- 
Ifisungsstufen und an jedem Gitterpunkt die Merk- 



malsvektoren bestimmt. 

14. Auf jeder Aufldsungsstufe werden an jedem Git- 
terpunkt ein Referenzmerkmalsvektor durch Mitte- 
lung Ober die entsprechenden Merkmalsvektoren 
der einzelnen Bilder und anschlie&ende Renorma- 
lisierung bestimmt. 

16. FOr alle Aufldsungsstufen wird die EER (equal 
error rate = Gleichfehlerrate, Kreuzungspunkt der 
Kurven fOr falsche Akzeptanz und falsche ZurOck- 
weisung) des Referenzmerkmalssatzes berechnet 
und unter EER(i) abgespeichert. Auch die zughdri- 
gen Schwellwerte werden bestimmt. Die Daten- 
bank fur diese Berechnung besteht aus den Merk- 
malssStzen aller bei der Erfassung akzeptierten Bil- 
der und einer Hintergrunddatenbank von Merkma- 
len fOr andere Personen. 

17. Der SchleifenzShler i wird urn 1 erhfiht. 

18. Sollte die maximale Anzahl von Schleifendurch- 
ISufen Oberschritten sein, ist die Optimierung been- 
det und es wird mit Schritt 22 fortgesetzt. 

19. Wahl einer zufalligen Kombination von Gewich- 
ten fOr die Gitterpunkte. FOr die zufSllige Wahl der 
Gewichte werden dann die EERs und die Schwell- 
werte auf alien Aufldsungsstufen berechnet. Die je- 
weiligen Resultate werden als EER(i) abgespei- 
chert. 

20. Falls auf den einzelnen Aufldsungsstufen die 
neuen Fehlerraten geringer sind als die alten, als 
beste gespeicherten, so wird mit Schritt 21 fortge- 
setzt, im anderen Fall mit Schritt 17. 

21 . Die neuen Gewichte mit geringster EER sowie 
die Schwellen fur jede Auflfisungsstufe werden ge- 
speichert. 

22. Nach Beendigung der Optimierung werden die 
Gewichte der Gitterpunkte fur die niedrigste EER 
gespeichert. Ebenfalls gespeichert wird die Auflo- 
sungsstufe, auf der diese niedrigste Rate auftrat, 
sowie derzugehdrige personenabhangige Schwell- 
wert. Bei Gleich stand wird die ho here AuflOsungs- 
stufe gewShlt. 

[0054] Das Verfahren fur die Verifikation einer Person 
urnfaBt gemafc dem FluBdiagramm von FIG 4 folgende 
Schritte: 

31 . Die geheime PIN (personal identification num- 
ber, persSnliche Identrftkationsnummer) der Person 
wird eingelesen. 

32. Es wird kontrolliert, ob es sich um eine gultige 
Benutzemummer handelt. 

33. Falls die Nummer dem System nicht bekannt 
ist, wird die Person zurOckgewiesen. 

34. Es wird kontrolliert, ob die eingegebene Num- 
mer zu einer autorisierten Person gehort. 

35. Sollte das nicht der Fall sein, wird die Person 
ebenfalls abgewiesen. 

36. Im anderen Fall nimmt die Kamera ein Bild von 
der Person auf, das Ober einen Framegrabber an 
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den Computer einer Bildverarbeitungseinheit wei- 
tergegeben wird. 

37. Im aufgenommenen Bild wird versucht, ein Ge- 
sicht zu lokalisieren. 

38. Das Ergebnis der Gesichtslokalisierung wird 5 
bewertet. 

39. Wenn kein Gesicht gefunden wurde, wird die 
Person abgewiesen. 

40. I m anderen Fall versucht der Augenfinder, in- 
nerhalb des Bildes Augen zu finden. 10 

41 . Das Ergebnis der Augenfindung wird bewertet. 

42. Falls keine Augen gefunden wurden. wird die 
Person abgewiesen. 

43. Die Position und die Skalierung des Gesichts 
werden bezOglich der Augenpositionen normali- 15 
siert. Nach der Normalisierung liegen die Augen in- 
nerhalb des Bildes auf einer horizontalen Linie und 
haben einen festen, vorgegebenen Abstand. Dazu 
wird das Bild rotiert und skaliert. 

44. Die Merkmale werden auf der AuflSsungsstufe 20 
extrahiert, die fQr die entsprechende Person w§h- 
rend der Erfassung als optimal ermittelt wurde. 

45. Zwischen dem Satz der Referenzmerkmale und 
den aus dem aktuellen Bild extrahierten Merkmalen 
wird die Ahnlichkeit berechnet. Dabei werden die 25 
als optimal bestimmten Gewichte der Gitterpunkte 
berOcksichtigt. 

46. Die ermittelte Ahnlichkeit wird mit der personen- 
spezrfischen Schwelle verglichen. 

47. Falls die Ahnlichkeit unterhalb der erforderli- 30 
chen Schwelle liegt, wird die Person zuruckgewie- 
sen. 

48. Falls die Ahnlichkeit Qber der Schwelle liegt, 
wird die Person akzeptiert. 

35 

[0055] Analoges gilt fur die Identifizierung des Ge- 
sichts einer unbekannten Person mit Bezug darauf, ob 
die Person in der Datenbank fur erfaBte Personen ent- 
halten ist oder nicht. 

40 
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Patentanspruche 

1 . Verfahren zur Erfassung gesichtsbezogener Perso- 
nendaten, gekennzeichnet durch folgende Ver- 
fahrensschritte: 

Aufnahme mehrerer Standbilder von der zu er- 
fassenden Person (1 bis 12a). 
Lokalisieren des Gesichtes in den aufgenom- 
menen Bildem, 

Lokalisieren der Augen im lokalisierten Gesicht 
(1,5, 9, 13a). 

Normalisieren des Gesichts durch Rotieren 
und Skalieren des jeweiligen Bildes, bis die Au- 
gen innerhalb des Bildes auf einer horizontalen 
Linie mit vorgegebenem Abstand liegen (13b), 
Extraktion von Merkmalen durch Merkmalsde- 
tektoren mit Bezug auf Gitterpunkte eines fe- 
sten Gitters, wobei die Positionen der Gitter- 
punkte relativ zur Lage der Augen vorbestimmt 
sind, mit Zusammenfassung der Merkmale zu 
einem Merkmalssatz fOr das jeweilige Bild 
(13c), 

Berechnung eines reprSsentativen Referenz- 
merkmalssatzes, der die Merkmalssdtze ailer 
aufgenommenen Bilder auf kompakte Weise 
zusammenfa&t (14), 

Optimierung von personenabhSngigen Ge- 
wichten fOr jeden Referenzmerkmalssatz 
zwecks Optimierung einer Zielfunktion. die eine 
Funktion dieser Gewichte sowie der Ahnlich- 
keitswerte zwischen dem Referenzmerkmals- 
satz und denjenigen MerkmalssStzen darstellt, 
die aus den aufgenommenen Bildem dersel- 
ben Person und den Bildem anderer Personen 
aus einer Hintergrunddatenbank gewonnen 
wurden, mit Bestimmung einer optimalen Ak- 
zeptanzschwelle (15 bis 21), 
Abspeicherung der so ermittelten gesichtsbe- 
zogenen Daten der erfaBten Person (22). 

2. Verfahren nach Anspruch 1 , 

dadurch gekennzeichnet, daQ> die Optimierung 
erst durchgefuhrt wird. wenn in der Hintergrundda- 
tenbank die MericmalssStze einer vorgegebenen 
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Anzahl von Personen hinterlegt sind. 48). 



3. Verfahren nach Anspruch 1 oder 2, 

dadurch gekennzeichnet daB die Berechnung 
des repr§sentativen Referenzmerkmalssatzes mit- 5 
tels Durchschnittsbildung und Normalisierung mit 
Bezug auf alle Bilderderzu erfassenden Person er- 
folgt (14). 

4. verfahren nach Anspaich 1 oder 2, io i 
dadurch gekennzeichnet daB die Berechnung 
des reprasentativen Referenzmerkmalssatzes mit- 
tels Ableitung des Eigenvektors zum groBten Ei- 
genwert der Ahnlichkeitsmatrix erfolgt. 

15 

5. Verfahren nach Anspruch 3 oder 4, 

dadurch gekennzeichnet dad derjenige Merk- 
malssatz S von den MerkmalssStzen der aufge- 
nommenen Bilder bestimmt wird, der im mathema- 
tischen Raum der Merkmalssatze den kleinsten Ab- 20 
stand zu dem reprSsentativen Referenzmerkmals- 
satz aufweist, und daft im weiteren Verfahrensab- 
lauf dieser Merkmalssatz S als der representative 
Referenzmerkmalssatz verwendet wird. 

25 

6. Verfahren nach einem der AnsprQche 1 bis 5, 
dadurch gekennzeichnet daB beim Normalisie- 
ren des Gesichts die Lage der Nase zusStzlich be- 
rGcksichtigt wird und daB die Positionen der Gitter- 
punkte zusatzlich durch die Lage der Nase be- 30 
stimmt werden. 

7. Verfahren nach einem der Ansprfiche 1 bis 6, 
dadurch gekennzeichnet daB zur Rauschunter- 
drQckung jedes aufgenommene Bild vor dem Loka- 35 
lisieren des Gesichts mit einem TlefpaBfilter bear- 
beitet wird. 

8. Verfahren nach einem der AnsprQche 1 bis 7, 
dadurch gekennzeichnet daB zusatzlich zu den *o 
Referenzmerkmaisvektoren auch die einzelnen 
Merkmale an jedem Gitterpunkt und fur jede Auflo- 
sungsstufe personenabhSngig gewichtet werden 
und dafi auch diese Gewichte der Optimierung un- 
terworfen werden. 45 

9. Verfahren nach einem der AnsprQche 1 bis 8, 
dadurch gekennzeichnet daB die Merkmalsvek- 
toren nach Auflosungsstufen getrennt berechnet 
werden und im Optimierungsschritt auch eine opti- 50 
male AuflSsungsstufe ermittelt wird (16, 19 bis 22). 

10. Verfahren nach einem der AnsprQche 1 bis 9, 
gekennzeichnet durch die Verwendung der 
erfaBten und abgespeicherten gesichtsbezogenen 55 
Personendaten zur Personenidentifizierung, indem 
jeweils neu erfaBte Merkmalsdaten mit den gespei- 
cherten Referenzdaten verglichen werden (36 bis 



11. Verfahren nach einem der AnsprQche 1 bis 9, 
gekennzeichnet durch die Verwendung der 
erfaBten und abgespeicherten gesichtsbezogenen 
Personendaten zur Personen verifizierung, indem 
jeweils neu erfaBte Merkmalsdaten mit den durch 
eine zusdtzliche persdnliche Kennung ausgezeich- 
neten gespeicherten Referenzdaten verglichen 
werden (31 bis 48). 

12. Verfahren nach Anspruch 10 oder 11, 

dadurch gekennzeichnet daB ein von einer exter- 
nen Instanz als falsche Zuruckweisung klassifizier- 
ter Merkmalssatz eines Bildes, das bei dem erfolg- 
losen Versuch einer Personenidentifizierung oder 
-verifizierung aufgenommen wird, in den Referenz- 
merkmalssatz der betreffenden Person nachtrSg- 
lich aufgenommen wird und daB mit diesem aktua- 
lisierten Referenzmerkmalssatz die Verfahrens- 
schritte Optimierung und Datenspeicherung wie- 
derholt werden. 



Claims 

1 . Process for recording personal facial data, 
characterised by the following process steps: 

taking several stills of the person to be recorded 
(1 to 12a), 

locating the face in the images taken, 
locating the eyes in the located face (1 , 5, 9, 
13a), standardising the face by rotation and 
scaling of the respective image until the eyes 
lie on a horizontal line with predetermined spac- 
ing within the image (13b), 
extracting features using feature detectors with 
respect to grid points of a fixed grid, wherein 
the positions of the grid points are predefined 
relative to the situation of the eyes, and com- 
bining the features to form a feature set for the 
respective image (13c), 
calculating a representative reference feature 
set which compactly combines the feature sets 
of all images taken (14), 
optimising person-dependent weights for each 
reference feature set to optimise a target func- 
tion representing a function of these weights 
and the similarity values between the reference 
feature set and those feature sets obtained 
from the images taken of the same person and 
the images of other people from a backup da- 
tabase, and defining an optimum acceptance 
threshold (15 to 21), 

storing the facial data of the recorded person 
obtained in this way (22). 
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newly recorded feature data is compared in each 
case with the stored reference data marked by an 
additional personal characteristic (31 to 48). 

s 12. Process according to claim 10 or 11, characterised 
in that a feature set, classified as a false rejection 
by an external entity, of an image taken during the 
unsuccessful attempt at personal identification or 
verification is subsequently taken in the reference 

10 feature set of the respective person and that the 
process steps of optimisation and data storage are 
repeated with this updated reference feature set. 



15 Revendications 

1 . Procede pour saisir des donnees relatives au visa- 
ge de personnes, caracterise par les eta pes 
suivantes : 

20 

prise de plusieurs images en pied de la person- 
ne a acquerir (1 a 12a), 
localisation du visage dans les images prises, 
localisation des yeux dans le visage localise (1 , 

25 5,9,13a), 

normalisation du visage au moyen d'une rota- 
tion et d'un redimensionnement de I'image cor- 
respondante. jusqu'a ce que les yeux dans 
I'image soient situes sur une ligne horizontal 

30 a une distance detenminee (13b), 

extraction de caracteristiques par des detec- 
teurs de caracteristiques par rapport a des 
points de grille d'une grille fixe, dans laquelle 
les positions des points de grille par rapport a 

35 la position des yeux sont predetermines, avec 

rassemblement des caracteristiques en un jeu 
de caracteristiques pour I'image correspondan- 
te (13c). 

calcul d'un jeu representatif de caracteristiques 
40 de reference qui regroupe d'une maniere com- 

pacte les jeux de caracteristiques de toutes les 
images prises (14), 

optimisation de poids dependant d'une person- 
ne pour chaque jeu de caracteristiques de re- 

45 ference en vue de ('optimisation, d'une fonction 

d'objectrf qui represente une fonction de ces 
poids ainsi que des valeurs de ressemblance 
entre le jeu de caracteristiques de reference et 
les jeux de caracteristiques qui ont ete acquis 

50 a partir des images prises de la meme person- 

ne et des images d'autre personnes dans une 
banque de donnees d'arriere-plan, avec une 
determination d'un seuil optimal d'acceptation 
(15 a 31), 

55 - stockage des donnees relatives au visage ainsi 
obtenues de la personne saisie (22). 



2. Process according to claim 1 , characterised in that 
optimisation is carried out only when the feature 
sets of a predetermined number of people are de- 
posited in the backup database. 

3. Process according to claim 1 or 2, characterised in 
that the representative reference feature set is cal- 
culated by averaging and standardisation with re- 
spect to all images of the person to be recorded 
(14). 

4. Process according to claim 1 or 2, characterised in 
that the representative reference feature set is cal- 
culated by derivation of the eigenvector to the max- 
imum eigenvalue of the similarity matrix. 

5. Process according to claim 3 or 4, characterised in 
that the feature set S of the feature sets of the im- 
ages taken which is at the shortest distance from 
the representative reference feature set in the 
mathematical space of the feature sets is defined 
and in that this feature set S is used as the repre- 
sentative reference feature set in the remainder of 
the process. 

6. Process according to one of claims 1 to 5, 
characterised in that the situation of the nose is ad- 
ditionally considered during standardisation of the 
face and in that the positions of the grid points are 
additionally defined by the situation of the nose. 

7. Process according to one of claims 1 to 6, 
characterised in that, for noise suppression, each 
image taken is processed by a low-pass filter prior 
to locating of the face. 

8. Process according to one of claims 1 to 7, 
characterised in that in addition to the reference 
feature vectors, the individual features are also 
weighted as a function of the person at each grid 
point and for each stage of resolution and in that 
these weights are also optimised. 

9. Process according to one of claims 1 to 8, 
characterised in that the feature vectors are calcu- 
lated separately according to stages of resolution 
and an optimum stage of resolution is also deter- 
mined in the optimisation step (16, 19 to 22). 

10. Process according to one of claims 1 to 9, 
characterised by the use of the recorded and stored 
personal facial data for personal identification in 
that newly recorded feature data is compared in 
each case with the stored reference data (36 to 48). 

11. Process according to one of claims 1 to 9, 
characterised by the use of the recorded and stored 
personal facial data for personal verification in that 



2. Procede selon la revendication 1 , caracterise en ce 
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que ('optimisation est seulement effectuee si dans 
la banque de donnees d'arriere-plan les jeux de ca- 
racteristiques d'un nombre predetermine de per- 
sonnes sont enregistres. 

5 

3. Procede selon la revendication 1 ou 2, caracterise 
en ce que le calcul du jeu representatif de caracte- 
ristiques de reference a lieu au moyen d'une deter- 
mi nation de moyenne et d'une normalisation par 
rapport a toutes les images de la personne saisie 10 
(14). 

4. Procede selon la revendication 1 ou 2, caracterise 
en ce que le calcul du jeu representatif de caracte- 
ristiques de reference a lieu au moyen d'une reo- 15 
dentation du vecteur propre vers la plus grande va- 
leur propre de la matrice de ressemblance. 

5. Procede selon la revendication 3 ou 4, caracterise 

en ce qu'on determine, a partir des jeux de carac- 20 
teristiques des images prises, le jeu S de caracte- 
ristiques qui dans I'espace mathematique des jeux 
de caracteristiques presente la distance la plus 
courte avec le jeu representatif de caracteristiques 
de reference, et que dans une mise en oeuvre ulte- 25 
rieure du procede ce jeu S de caracteristiques est 
utilise comme jeu representatif de caracteristiques 
de reference. 

6. Procede selon I'une des revendications 1 a 5, ca- 30 
racterise en ce que lors d'une normalisation du vi- 
sage la position du nez est en outre prise en compte 

et que les positions des points de grille sont en outre 
determinee par la position du nez. 

35 

7. Procede selon I'une des revendications 1 a 6, ca- 
racterise en ce que, pour reduire le bruit, chaque 
image prise est traite par un filtre passe-bas avant 
la localisation du visage. 

40 

8. Procede selon I'une des revendications 1 a 7, ca- 
racterise en ce qu'en plus des vecteurs de caracte- 
ristiques de reference, les caracteristiques indivi- 
duelles a chaque point de grille e,t pour chaque eta- 

pe de discrimination sont ponderees aussi en fonc- 45 
tion des caracteristiques propres a une personne, 
et que ces poids sont aussi soumis a I 'optimisation. 

9. Procede selon I'une des revendications 1 a 8, ca- 
racterise en ce que les vecteurs de caracteristiques so 
sont calcules separement selon des etapes de dis- 
crimination et que dans I'etape d'optimisation, une 
etape optimale de discrimination est obtenue aussi 
(16, 19 a 22). 

55 

10. Procede selon I'une des revendications 1 a 9, ca- 
racterise par ('utilisation des donnees acquises et 
stockees relatives au visage pour une identification 



de personne, dans lequel les donnees correspon- 
dantes de caracteristiques nouveliement acquises 
sont comparees aux donnees stockees de referen- 
ce (36 a 48). 

11. Procede selon I'une des revendications 1 a 9, ca- 
racterise par ('utilisation des donnees acquises et 
stockees relatives au visage pour une identification 
de personne, dans lequel les donnees correspon- 
dantes de caracteristiques nouveliement acquises 
sont comparees a des donnees stockees de refe- 
rence selectionnees par une connaissance supple- 
mental personnelie (31a 48). 

12. Procede selon la revendication 10 ou 11 , caracteri- 
se en ce qu'un jeu de caracteristiques, classe com- 
me un faux rejet par une instance exterieure, d'une 
image qui a ete prise lors d'une tentative infructueu- 
se d'une identification ou d'une verification de per- 
sonne, est enregistre en complement dans le jeu de 
caracteristiques de reference de la personne con- 
cernee, et qu'avec ce jeu actualise de caracteristi- 
ques de reference, les etapes d'optimisation du pro- 
cede et le stockage de donnees sont repetes. 
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FIG1 
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FIG 2 
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